#OpenAI Realtime API

2周前

一个周末借助Claude完成一个同声传译/双语字幕的Mac端应用： 1、支持ScreenCaptureKit 采集系统声音、单应用声音、以及麦克风声音，以及多流的mixer； 2、支持OpenAI Realtime API 以及阿里云Gummy 实时转录模型； 3、支持多家大模型翻译API。 PS：也能支持视频号视频/直播的实时字幕和翻译了。有相关需求的伙伴可以一起聊聊，看是否可以做成一个产品或者API 出来？

#同声传译 #双语字幕 #Mac端应用 #OpenAI Realtime API #阿里云Gummy

6个月前

经过这几天的开发，RealtimeAI开源项目已经初具雏形，目前项目已经支持了Gemini Multimodel live API 和 OpenAI Realtime API。主要包括三部分： - AI SDK (WebRTC)：在客户端侧通过WebRTC协议捕获音视频流并进行处理，如音视频编码、部分前置推理等； - WebRTC Gateway：主要负责信令管理、NAT/防火墙穿透、转发媒体流等工作.； - AI Service ：提供实时推理或实时数据处理能力，如语音识别、图像识别、实时字幕、语音合成、实时大模型交互；项目地址：

#RealtimeAI #开源项目 #Gemini Multimodel #OpenAI Realtime API #AI SDK #WebRTC #WebRTC Gateway #信令管理 #音视频处理